我目前有一个JavaSAX解析器，它正在从一个30GB的XML文件中提取一些信息。目前是:读取每个XML节点将其存储到一个字符串对象中，在字符串上运行一些正则表达式将结果存入数据库对于数百万个元素。我在具有16GB内存的计算机上运行它，但内存没有得到充分利用。有没有一种简单的方法可以从输入文件中动态“缓冲”大约10gb的数据？我怀疑我可以手动采用“生产者”“消费者”多线程版本(在一侧加载对象，使用它们并在另一侧丢弃)，但是该死的，XML现在很古老，没有有效的库吗紧缩他们？ 最佳答案 简单说一下，Java可以使用您的16GB内存吗？您

问题。我们将事情记录到数据库中。为了保持磁盘空间使用上限，我们从数据库导出到可以复制的文件，或者只是平面删除。某些高于我的权力希望将其视为JSON。我将单个JSON文件视为单个对象。所以在这种情况下，我们将创建一个包含日志消息列表的对象。问题是，这个文件中可能有几百万个日志项，我想这会阻塞大多数解析器。所以我认为唯一的方法是让每个日志项都有自己的JSON对象。这意味着JSON解析器无法按原样处理该文件。但是我们可以编写一个行解析器来读取文件并通过JSON解析器推送每一行。这听起来正确吗？我相信XML也会有同样的问题，但至少我们有SAX..或者我们可以将它作为一堆迷你文档来完成，所有这些

我很确定我必须首先为XML文件创建某种模型，对吧？我们将不胜感激。 最佳答案 一个简单的方法是创建.NET类，将数据放入其中，然后使用XmlSerializer将数据序列化到文件中，然后反序列化回类的实例并重新填充表单。例如，如果您有一个包含客户数据的表单。为了简短起见，我们将只有名字和姓氏。您可以创建一个类来保存数据。请记住，这只是一个简单的示例，您可以像这样存储数组和各种复杂/嵌套数据。publicclassCustomerData{publicstringFirstName;publicstringLastName;}因此将数

总结:我正在寻找一个快速的XML解析器(很可能是一些标准SAX解析器的包装器)，它将生成与XML::Simple生成的数据结构100%相同的每记录数据结构。.详细信息:我们有一个庞大的代码基础设施，它依赖于一个接一个地处理记录，并且期望记录是一种由XML::Simple生成的格式的数据结构，因为自侏罗纪早期以来它一直使用XML::Simple。一个简单的XML示例是:v1v2v1bv2bv1cv2c示例粗略代码是:subprocess_record{my($obj,$record_hash)=@_;#do_stuff}my$records=XML::Simple->XMLin(@arg

我正在开发一个博客网站，我想知道如何保存大型博客文章数据-在XML文件中、作为HTML文件或直接在数据库中。有什么建议吗？ 最佳答案 数据库会好得多。所以保存XML文件(或任何其他文件)时，您需要覆盖整个文件。数据库允许您一次添加/更新一条记录。更不用说如果您要查找包含特定单词或短语的所有博客文章，数据库更容易搜索... 关于xml-在哪里保存大型博客文章数据-在文件或数据库中？，我们在StackOverflow上找到一个类似的问题： https://stac

我想使用XML文件作为数据库。我想在哪里存储一个ID及其相应的字符串路径。喜欢:idpath或者类似的。现在在运行时，名称-值集合将加载存储在XML文档中的数据，并根据某些数据检查Id并将进行相应处理，并更新(即更改相同Id的路径)和删除(删除现有项目)该XML文件中需要items。希望我能让你理解我的想法!我没有要显示的代码，因为这是概念级别的。我需要的是如何实现这一目标，是否有任何我可以阅读的教程或可用的API能够做到这一点？谢谢你。我在JAVA中。 最佳答案 另一方面，如果您使用提供XML数据库API的XML数据库系统，您就会

我想通过数据创建XML，并且我在DataSet中收到了来自数据库的数据。或IList.现在我正在使用DataSet通过此代码创建XML。stringresult=String.Empty;using(StringWritersw=newStringWriter()){ds.WriteXml(sw);result=sw.ToString();}我的XML就是这种形式。3212120001ABCED11212280007CustomerName1CustomerAddress3312120002ABCED11212280008CustomerName2CustomerAddress2206

我目前正在使用XmlTextWriter类将包含大量数据(100000多条记录)的数据库表导出到xml文件中，并且我正在直接写入文件物理驱动器。_XmlTextWriterObject=newXmlTextWriter(_xmlFilePath,null);虽然我的代码运行正常，但我的问题是这是最好的方法吗？我是否应该先将整个xml写入内存流，然后将xml文档写入内存流中的物理文件？在这两种情况下，对内存/性能的影响是什么？编辑抱歉，我无法真正表达我的意思。感谢Ash指出。我确实会使用XmlTextWriter但我的意思是说是将物理文件路径字符串传递给XmlTextWriter构造函数

我必须为我的工作制作一个小程序，我的职位确实与IT无关，我制作这个是为了我们的个人-专业用途。我已经在Access中完成了它，它工作正常，但我个人不喜欢它。这很简单，有一个包含大约10列的不同位置(大约300个)的列表。这是在DataGridView中，当我们选择某个地方时，我们可以打印对该地方的访问报告。问题:我想用C#来做，所以我考虑使用一个简单的Access数据库，但我得到一个“OLEDB数据库驱动程序不在系统中”或类似的东西。我们在受限的WIZE客户端上工作，Windows配置中的任何内容都无法更改。所以我一直在为我的数据库寻找替代方案。我可以使用一个简单的XML文件并将其存储

我正在使用.NET解析一个包含大约2000万行(1.56GB)的XML文件，从数据中构建LINQ对象，然后将其插入到SQL数据库中。这需要很长时间。为了提高性能，我正在考虑请求一个竖线分隔文件。我还想知道Perl是否会更快。有人对加快此过程有什么建议吗？ 最佳答案 我认为您无法将该文件上的LINQ性能提高到令您满意的程度。我的建议是使用XmlTextReader并逐个节点地读取文件，并对数据进行自己的处理。 关于.net-如何快速将大量XML数据放入我的数据库中？，我们在StackOve